変換領域内における符号化映像に対する遷移の生成

专利摘要:
符号化領域内の第１の画像と第２の画像との間の少なくとも１つの中間遷移画像のデータ代表値を計算するためのシステムおよび方法が開示される。映画的遷移が、符号化静止画像と動画像列からのフレームとの間に生成され得る。第１および第２の画像内の各対応する位置に対して、変換符号化値が、変換符号化データを変換復号化せずに、第１および第２の画像の変換符号化データを使用して、少なくとも１つの中間画像のために計算される。変換符号化値は、圧縮プロトコルを使用して完全に符号化され、映画的遷移の復号化および表示のための機器に伝送され得る。
公开号:JP2011511573A
申请号:JP2010545167
申请日:2009-01-29
公开日:2011-04-07
发明作者:デンチー チャン，；チャールズ ローレンス，
申请人:アクティブビデオ ネットワークス， インコーポレイテッド；
IPC主号:H04N5-262

专利说明:

[0001] （優先権）
本出願は、２００８年２月１日に出願された「Ｔｒａｎｓｉｔｉｏｎ Ｃｒｅａｔｉｏｎ ｆｏｒ Ｅｎｃｏｄｅｄ Ｖｉｄｅｏ ｉｎ ｔｈｅ Ｔｒａｎｓｆｏｒｍ Ｄｏｍａｉｎ」というタイトルの米国特許出願第１２／０２４，７０７号の優先権を主張し、その開示全体が本明細書に参考として援用される。]
[0002] （技術分野）
本発明は、画像処理に関し、より具体的には、符号化動画像間の遷移のための符号化領域内の中間画像の構築に関する。]
背景技術

[0003] （背景技術）
ソフトウェアおよびハードウェア映像エンコーダならびにデコーダの増大する有用性と相まって、最新の圧縮アルゴリズムの飛躍的性能によって、符号化コンテンツが普及している。ＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）規格は、商業用途および一般向け用途の両方において、広範に使用されている。種々のモジュール１５０を有するサンプルＭＰＥＧ映像圧縮および解凍システムが、図１に示される。画素データ１５１が、システムに入力され、各マクロブロック（１６×１６画素群）は、離散コサイン変換（ＤＣＴ）１５２を使用して、変換符号化を受ける。結果として得られるデータは、量子化され１５３、マクロブロックが内部符号化される場合、エントロピ符号化されるであろう。量子化されたデータは、フィードバックループを通過し、そこで量子化されたデータが逆量子化され１５５、逆変換１５６を経る。次いで、結果として得られる画素データは、動き推定ブロック１５７内の動きベクトル、ならびに相互符号化のための動き推定差分値１５８（順次フレーム内に同様に位置するマクロブロック間の差分値）を計算するために、順次マクロブロックの処理のために保存および使用される。続いて、動きベクトルおよび動き推定差分値は、エントロピ符号化され１５４、出力ビットストリーム１６０内に出力される。] 図１
[0004] ＭＰＥＧデコーダ１７０は、エンコーダから符号化出力ビットストリームを受信し、第１のエントロピは、受信したビットストリームを復号化する１７１。データがエントロピ復号化されるのに伴って、データが空間的符号化マクロブロックデータとして識別される場合、データは、逆量子化器１７２および逆ＤＣＴ変換１７３を通過し、マクロブロック位置に対する画素値をもたらす。次いで、画素値は、保存され、相互符号化された順次マクロブロック内のマクロブロックに対するマクロブロック画素値を決定するために使用され得る。結果として得られるデータが、動きベクトルとして識別される場合、動きベクトルは、動き補正モジュール１７４に転送される。所与のマクロブロック位置に対して受信した動きベクトルに基づいて、動き補正モジュール１７４は、動きベクトルがポイントし、動き補正モジュール１７４が動きベクトルと関連付けられたマクロブロック位置に対する画素値を決定する、保存されたマクロブロックデータを読み出す。加えて、相互符号化マクロブロックに対する差分値は、入力ビットストリーム内で受信されてもよく、それらの値は、加算され、または同一のマクロブロック位置を共有する先行映像フレームからのマクロブロックに対する保存された画素値から除算される。データが画素値に復号化されると、結果として得られる画素値ビットストリームが出力され、表示機器上に表示されてもよい。]
[0005] フェードイン、フェードアウト、およびクロスフェード等の標準的な映画的効果を生成することを所望する符号化映像コンテンツの制作者および編集者は、空間／画素領域内で作業する。画素領域内では、２つの画像間のフェーディングは、以下の式で表すことが可能である。ｐｎｅｗ＝α・ｐａ＋（１−α）・ｐｂ
式中、ｐは、画素領域内の画素値であって、α＝［０、１］は、フェーディング荷重である。ｐｂが単調色である場合、フェードイン（α＝０→１の場合）およびフェードアウト（α＝１→０の場合）と呼ばれる。それ以外は、クロスフェードと呼ばれる。したがって、符号化映像コンテンツを扱う制作者および編集者は、最初に、映像コンテンツの各フレームを復号化し、空間／画素領域内のデータを操作し、これらの効果を生成し、次いで、フレームを再符号化するように強いられる。したがって、これらの映画的効果を生成するために、いくつかのプロセッサ集約的ステップを踏まなければならない（特に、変換復号化および符号化の性能）。]
発明が解決しようとする課題

[0006] インターネットまたはケーブルテレビシステムを通して等、ネットワーク環境においてリアルタイムでのそのような効果の自動生成は、処理要件および待ち時間のため、困難であることが証明されている。]
課題を解決するための手段

[0007] （本発明の概要）
本発明の第１の実施形態では、第１の画像と第２の画像との間の少なくとも１つの中間遷移画像のデータ代表値を計算するための方法が、提供される。第１および第２の画像は、ＤＣＴ係数等の変換符号化データによって表される。方法は、第１および第２の画像内の対応する位置における変換符号化データを変換復号化せずに、第１および第２の画像の変換符号化データを使用して、少なくとも１つの中間画像に対する変換符号化値を計算するステップを含む。各中間フレームに対して、変換符号化値が、各画素位置のために計算される。少なくとも１つの中間画像に対する変換符号化値は、メモリに保存される。第１の画像および第２の画像を形成する画像データは、１つ以上の動画像列からの個々のフレームであってもよく、または静止画像であってもよい。第１および第２の画像に対する画像データは、フレーム内符号化されてもよい。]
[0008] 画像のうちの１つが動画像列からのものである場合、画像データは、動画像列から構文解析される。例えば、Ｉ−フレームは、ＭＰＥＧストリーム内に位置してもよい。これは、第１の画像および第２の画像の両方に対して行なわれてもよい。中間画像に対して決定される変換符号化値は、フレーム内またはフレーム間符号化されてもよい。あるプロセスは、フレームがフレーム内またはフレーム間符号化されるべきであるかどうか決定するために生じてもよい。いくつかの実施形態では、決定は、コンピュータシステムによって自動的に行なわれる。別個の式が、フレーム内値およびフレーム間値を決定するために採用される。]
[0009] いくつかの実施形態では、第１および第２の画像の両方とも、完全符号化ＭＰＥＧ Ｉ−フレームデータによって表されてもよい。他の実施形態では、第１および第２の画像データは、量子化された変換係数であってもよく、さらに他の実施形態では、第１および第２の画像データは、単純に、変換係数であってもよい。システムは、変換符号化データではない第１または第２の画像からの任意のデータを復号化するであろう。したがって、ＭＰＥＧ Ｉ−フレームは、一実施形態では、エントロピ復号化および逆量子化されるであろう。]
[0010] 第１および第２の画像データが、ＭＰＥＧ Ｉ−フレームであって、第１および第２の画像データが、同一量子化ステップサイズおよび量子化行列を使用して符号化されている場合、データは、エントロピ復号化のみされる必要があり、データは、量子化された変換符号化データとして残される。したがって、中間フレームは、量子化された変換符号化データから計算可能である。１つ以上の中間画像に対するデータが計算されると、データは、第１の画像と第２の画像データとの間に挿入可能である。例えば、中間画像は、ＭＰＥＧシーケンス中に挿入され、そこでヘッダの適切なフォーマッティングおよびアップデートが生じ得る。]
[0011] 中間画像は、フェードイン、フェードアウト、またはクロスフェード等の効果を生成可能である。第１または第２の画像は、フェードインまたはフェードアウトのための単調画像であってもよい。]
[0012] 他の実施形態では、方法は、コンピュータ可読保存媒体上のコンピュータプログラムとして具現化されてもよい。]
図面の簡単な説明

[0013] 本発明の上述の特徴は、付随の図面と併せて、以下の発明を実施するための形態を参照することによって、より容易に理解されるであろう。
図１は、例示的映像圧縮のブロック図を示す。
図１Ａは、符号化領域内において映画的効果を生成するための本発明が具現化され得る、第１の環境を示す。
図２は、符号化映像コンテンツ間の遷移を生成するための自動システムを含む、第２の環境を示す。
図３Ａは、単調画像データの事前処理のフローチャートを示す。
図３Ｂは、映画的効果およびフレームタイプが選択されるフローチャートを示す。
図３Ｃは、受信した画像データがＭＰＥＧ Ｉ−フレームではなく、中間フレームタイプがＰ−フレームである場合における、画像データを処理するためのフローチャートを示す。
図３Ｄは、受信した画像データがＭＰＥＧ Ｉ−フレームではなく、中間フレームタイプがＩ−フレームである場合における、画像データを処理するためのフローチャートを示す。
図３Ｅは、映画的効果がクロスフェードである場合における、画像データを処理するためのフローチャートを示す。
図３Ｆは、変換領域内における中間画像データを決定するためのフローチャートを示す。
図４は、遷移が左から右へのワイプを提供する、一連の映像フレームを示す。] 図１ 図１Ａ 図２ 図３Ａ 図３Ｂ 図３Ｃ 図３Ｄ 図３Ｅ 図３Ｆ 図４
実施例

[0014] （特定の実施形態の詳細な説明）
以下の明細書および付随の請求項で使用されるように、用語「符号化」とは、別途文脈によって示されない限り、圧縮画像または映像ストリームを生成するプロセスを意味するものとする。画像のデータ代表値は、プロセスの少なくとも一部が行なわれる場合、符号化されたとみなされるものとする。例えば、画像および映像データを空間的に圧縮する圧縮アルゴリズムは、一般に、３つのステップを含む（変換処理、量子化、およびエントロピ符号化）。したがって、空間データが変換を経ることによってデータが変換されている場合、画像データは、符号化されている、または部分的に符号化されているとみなされてもよい。用語「マクロブロック」は、ＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）マクロブロックを意味するものとする。マクロブロックは、概して、空間領域内で参照される場合、画像内の指定されたマクロブロック位置における１６×１６画素群であって、変換領域内で参照される場合、１６×１６周波数値群である。変換されたマクロブロック内の値は、変換係数である。]
[0015] 具現化されるような本発明は、符号化映像源からの２つの画像間の１つ以上の中間画像の生成を対象とし、中間画像は、変換領域内で決定される。遷移は、符号化単調画像（例えば、黒色、白色画像、または他の単一色）と、フェードインまたはフェードアウトを提供する映像ストリームからの符号化画像との間で生じてもよく、あるいは遷移は、クロスフェードを生成する２つの符号化源（映像ストリームからの画像または静止画像）間で生じてもよい。符号化コンテンツは、空間／画素領域に完全に復号化されことは決してなく、逆に、遷移のための１つ以上の中間画像に対する符号化データの決定が、変換領域内で決定される。中間画像がＭＰＥＧ規格に従って符号化されるべき場合、具現化されるような本発明は、中間画像をＩまたはＰフレームとして符号化可能である。]
[0016] 図１Ａは、本発明が具現化され得る第１の環境を示す。本環境では、クライアント機器１００によって、ユーザは、１つ以上のサーバ１０１ａ、１０１ｂ、１０１ｃからの複数の符号化ファイルにアクセス可能となる。クライアント機器は、符号化コンテンツを生成するための編集環境（グラフィカルユーザインターフェース）１０５を提供する。ユーザは、選択ボックス１０２内から符号化ファイルを、第２の選択ボックス１１０内から複数の遷移を選択可能である。ユーザは、単調画像から符号化画像ストリームへのフェードイン１１１を有するように選択可能である。例えば、黒色画像１１５からＭＰＥＧ映像ストリームの第１のＩ−フレーム符号化画像へのフェードイン１１１であって、１つ以上の中間画像が単調画像と第１のＩ−フレームとの間に生成される。ユーザは、いくつかの画像であって、再生フォーマットに依存するであろう、遷移の長さ１２０を選択可能である。例えば、ＭＰＥＧ映像ストリームは、２４フレーム／秒、３０フレーム／秒、または６０インターレースフィールド／秒で表示されてもよい。ユーザは、ＭＰＥＧ映像ストリーム内の最後の動画像から単調画像へのフェードアウト１１２を有するように選択してもよい。例えば、ＭＰＥＧ映像からの最終Ｉ−フレーム動画像は、１つ以上のフレームにわたって、白色単調画像１１６にフェードするであろう。また、ユーザは、符号化動画像列間の遷移を所望してもよい。例えば、ユーザは、クロスフェード１１３を有するように所望してもよく、第１の符号化動画像列の最後の内部符号化画像は、１つ以上の画像にわたって、第２の符号化動画像列の第１の内部符号化画像に遷移する。動画像列が両方とも、ＭＰＥＧ符号化動画像列である場合、第１の符号化動画像列からの最後のＩ−フレームは、第２の符号化動画像列の第１のＩ−フレーム画像にクロスフェードされる。環境は、遷移１１０、単調遷移画像（フェードインおよびフェードアウトの場合）、生成するためのフレームのタイプ１１０ａ（Ｉ−フレームまたはＰ−フレーム、あるいは２つの組み合わせ、自動選択もしくはデフォルト選択）、および遷移の時間に対応するフレームの数（例えば、表示速度が６０フレーム／秒である２秒遷移の場合、中間画像の数は、１１８である）１２０のユーザ選択のためのユーザインターフェースを提供する。制作者が中間画像をＩ−フレームとして符号化するように選択する場合、各中間フレームは、内部符号化されるであろう。したがって、中間画像の各マクロブロックは、そのマクロブロックに対して画素データの代表値であるＤＣＴ−変換係数データを含有する。制作者が中間画像をＰ−フレームとして符号化するように選択する場合、中間画像は、本フレームと先行フレームとの間の差異情報を含有するであろう。全動きベクトルは、動きがないため、ゼロとなるであろう。また、制作者は、ＩおよびＰフレームの組み合わせを有するように選択してもよい。中間画像の生成は、単一フレームタイプに限定される必要はない。符号化映像コンテンツならびに映像コンテンツの処理が、図１に示されるクライアント／サーバアーキテクチャの必要性なく、単一計算機器上で生じてもよいことは、当業者によって認識されるはずである。] 図１ 図１Ａ
[0017] 図２に示されるような第２の環境では、コンテンツのユーザ生成を可能にするのではなく、環境は、符号化映像コンテンツ間の遷移のための自動システムである。例えば、全コンテンツが１つ以上のＭＰＥＧ符号化映像ストリームとしてユーザのセットトップボックスに提供される、双方向ケーブルテレビ環境２００では、自宅２１０ａ、ｂ、ｃのユーザは、オンデマンドサービスを選択してもよく、デジタルテレビ配信センタ２２０からそのコンテンツが提供されるであろう。デジタルテレビ配信センタ２２０は、保存されたコンテンツメモリ位置２２５からコンテンツを読み出す、または放送コンテンツプロバイダ２３０ａ、ｂから放送コンテンツを受信するであろう。デジタルテレビ配信センタ２２０は、ユーザに表示される現在視聴されている画像（例えば、符号化選択画面）と、選択されたオンデマンドサービスとの間に中間画像を自動的に挿入する、遷移挿入プロセッサ２４０にアクセスするであろう。したがって、選択画面とユーザ選択コンテンツとの間のクロスフェーディングが存在してもよい。自動遷移の別の用途では、ＩＰテレビ環境において、広告およびテレビ番組が、事前決定された時間的枠組に基づいて中間画像の数を決定するデジタルテレビ配信センタの遷移挿入プロセッサによって、リアルタイムで結合される。例えば、放送ネットワークプログラムは、７：１３ｐｍに、２分のコマーシャルがＭＰＥＧ映像ストリームに挿入されるように予定されてもよい。ローカルＩＰテレビネットワークプロバイダは、この２分の時間間隔の間にコマーシャルを挿入可能である。遷移は、コマーシャル間に自動的に生成可能であって、遷移の長さは、コマーシャルおよび遷移が２分の間隔を完全に充填するように計算可能である。] 図２
[0018] したがって、本システムは、符号化領域内における遷移のリアルタイム生成を提供可能である。例えば、３つのローカルコマーシャルは、合計で１：５４しかない場合があり、したがって、６秒の遷移が必要である。遷移挿入プロセッサは、６秒の遷移が必要とされ、各コマーシャルに対して、クロスフェード、フェードイン、またはフェードアウトを含めることを決定するであろう。遷移挿入プロセッサが、各コマーシャルに対してフェードインおよびフェードアウトを行なうように構成される場合、６つのフェードが存在するであろう。その結果、各フェードは、長さ１秒となるであろう。]
[0019] 図３Ａ−Ｆは、図２の遷移挿入プロセッサ等の処理モジュールによってとられるステップを表すフローチャートであって、映画的効果を生成するために、内部符号化される２つの画像の符号化または部分的符号化データ代表値から中間フレームを生成する。本用途は、画像がＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格を使用して符号化されることを想定するが、他のＣＯＤＥＣを使用して、周波数領域係数を採用してもよい。図３Ｂ−Ｆのフローチャートに示されるステップに先立って、プロセッサは、図３Ａに示されるように、単調画素データを事前処理するであろう。最初に、単調画素データ（例えば、白色または黒色画像）が、読み出されるであろう（３００）。次いで、単調画素データは、変換符号化され（３０１）、各マクロブロックに対する変換符号化係数は、メモリに保存されるであろう（３０２）。また、変換符号化係数は、量子化されるであろう（３０３）。また、各マクロブロックに対して量子化された変換係数は、メモリ３０４内に保存されるであろう。変換係数および量子化された変換係数は、後述のように、フェードインおよびフェードアウトのための中間画像を生成する際、読み出され、使用されるであろう。] 図２ 図３Ａ 図３Ｂ
[0020] フローチャートの入力データは、符号化静止画像、映像ストリームからの内部符号化（Ｉ−フレーム）画像、画像のマクロブロック変換係数代表値、または画像のマクロブロック量子化変換係数代表値であってもよい。フェードインまたはフェードアウトが生成されるべき効果である場合、他の画像は、メモリ内に既に保存されている単調画像（例えば、黒色、白色等）であるため、１つの入力画像または１つの入力画像のデータ代表値のみ必要であることを認識されたい。]
[0021] 単調画像データの事前処理に加え、図３Ｂ−Ｆのフローチャートに示されるステップの開始に先立って、符号化動画像列が処理される場合、フェードインのために、動画像列からの第１のＩ−フレームが特定される。行なわれるべきプロセスがフェードアウトである場合、動画像列内の最後のＩ−フレームが識別される。クロスフェードの場合、第１の動画像列内の最後のＩ−フレームが識別され、第２の動画像列内の第１のＩ−フレームが識別される。ＭＰＥＧ動画像列内のＩ−フレームの識別は、当業者によって周知である。ＭＰＥＧピクチャヘッダは、フレームタイプを示し、ピクチャヘッダ群（ＧＯＰ）後の第１のフレームは、通常、内部符号化Ｉ−フレームである。] 図３Ｂ
[0022] フローチャートに戻ると、最初に、生成されるべき映画的効果が、図３Ｂのフェードイン、フェードアウト、およびクロスフェードから選択される（３０５）。自動化システムでは、選択は、所定である。映画的効果が決定された後、プロセッサは、符号化されるべき中間フレームが、Ｉ−フレームまたはＰ−フレームとなるかどうか決定する（３０６ａ、ｂ、ｃ）。再び、自動化システム内では、図２に示されるもの等、フレームタイプは、所定であって、所定ピクチャ群（ＧＯＰ）内のＩおよびＰフレームの混合であってもよい。] 図２ 図３Ｂ
[0023] フェードインおよびフェードアウトの場合、単調画像のために事前符号化されている変換係数が、読み出される（３０７ａ、ｂ、ｃ、ｄ）。加えて、画像データが、処理モジュールによって受信される。中間画像が、Ｉ−フレームであって、画像データの量子化行列およびステップサイズが、単調画像のものと同一である場合、量子化された変換係数が、読み出される（３０７ｂ、ｄ）。Ｉ画像データおよび量子化行列のステップサイズが同一ではない、または中間画像がＰ−フレームとして符号化されるべき場合、変換係数は、単調画像に対して読み出される（３０７ａ、ｃ）。]
[0024] 処理モジュールは、画像データがＭＰＥＧ画像として符号化されているかどうか確認する（３０９ａ、ｂ、ｃ、ｄ）。画像がＭＰＥＧ画像である場合、処理モジュールは、ＭＰＥＧ画像データをエントロピ復号化するであろう（３１０ａ、ｂ、ｃ、ｄ）。符号化されるべき中間画像がＩ−フレームであって、ステップサイズおよび量子化行列が、ＭＰＥＧ画像データに対して、単調画像に対するものと同一である場合、量子化された変換係数が、受信した画像データおよび単調画像の両方のために、図３Ｆに示されるように、ステップＡに転送されるであろう。符号化されるべき中間画像がＰ−フレームである、またはステップサイズおよび量子化行列が同一ではない場合、処理モジュールは、画像の各マクロブロックに対して変換係数を生成するために、逆量子化を行なうであろう（３１１ａ、ｃ）。次いで、第１および第２の画像に対する画像データが、図３ＦのステップＡに転送される。フェードインの場合、単調画像データが、第１の画像データであって、受信した画像データが、第２の画像データである。フェードアウトの場合、受信した画像データが、第１の画像データであって、単調画像データが、第２の画像データである。] 図３Ｆ
[0025] 画像データが符号化されていない場合、プロセスは、図３Ｃに示されるように、中間フレームタイプが、Ｐ−フレームである、あるいはステップサイズまたは量子化行列が、単調画像に対するものと同一ではない場合、ステップＣに進む。処理モジュールは、受信した画像データが量子化された変換係数であるかどうか確認する（３１２）。データが量子化された変換係数である場合、処理モジュールは、逆量子化を適用し（３１３）、変換係数を生成し、次いで、受信した画像および単調画像に対する変換係数が、図３ＦのステップＡに転送される。受信したデータが量子化された変換係数ではない場合、処理モジュールは、データが画像のためのマクロブロックのそれぞれに対する変換係数を含有しているかどうか確認する（３１４）。その場合、受信した画像データおよび単調画像に対する変換係数が、図３ＦのステップＡに転送される。] 図３Ｃ 図３Ｆ
[0026] 画像データが符号化されておらず、選択された中間フレームタイプがＩ−フレームであって、ブロックサイズおよび量子化行列が単調画像データと同一である場合、処理モジュールは、図３ＤのステップＤに進む。処理モジュールは、受信したデータが量子化された変換係数であるかどうか確認する（３１５）。データが、画像のマクロブロックに対して量子化された変換係数である場合、量子化された変換係数は、逆量子化を受ける必要はなく、単調画像および受信した画像の両方に対するデータが、ステップＡに転送される。受信したデータがＭＰＥＧ Ｉ−フレーム画像、量子化された変換係数、または画像のマクロブロックに対する変換係数のいずれでもない場合、処理モジュールは、エラーが存在することを報告するであろう。] 図３Ｄ
[0027] 映画的効果がクロスフェードである場合、同一プロセスが適用されるが、プロセスは、２つの画像のそれぞれに独立して適用され、図３ＦのステップＡに提供される前に、両方のデータ集合が同一フォーマット（変換係数または量子化された変換係数）となる。処理モジュールは、図３Ｅの３１６において、中間画像がＩ−フレームとなるかどうか決定する。次いで、処理モジュールは、第１および第２の画像に対するデータを読み出すであろう（３１７ａ、ｂ）。処理モジュールは、各画像に対するデータのタイプを確定する（３１８ａ、ｂ）。上述のように、データは、Ｉ−フレームに対するＭＰＥＧ符号化データ、量子化された変換係数データ、または変換係数データのいずれかであってもよい。処理モジュールは、ステップサイズおよび量子化行列が、両方の画像に対して同一であるかどうか決定する。ステップサイズおよび量子化行列が同一である場合、２つの画像に対するデータ集合のための所望の結果として得られるフォーマットは、変換係数である。一方または両方の画像に対するデータがＭＰＥＧ Ｉ−フレームである場合、データは、エントロピ復号化される（３１９ａ、ｂ）。第１および第２の画像の両方に対する結果として得られる量子化された変換係数は、ステップＡに転送される。中間画像がＰ−フレームであるべき場合、さらなる処理のための所望のフォーマットは、変換係数である。両方の画像に対するデータ集合がＭＰＥＧ Ｉ−フレームである場合、データは、エントロピ復号化され、次いで、逆量子化され、第１および第２の画像の両方に対する変換係数をもたらす（３２０ａ）。次いで、第１および第２の画像の各マクロブロックに対するこれらの変換係数は、ステップＡに転送される。] 図３Ｅ 図３Ｆ
[0028] 両方の画像（フェードインのための単調および第２の画像、フェードアウトのための第１の画像および単調画像、またはクロスフェードのための第１の画像および第２の画像）に対するデータが、同様にフォーマットされると、Ａから始まる図３Ｆのフローチャートに従って、各画像に対する各マクロブロック位置が処理され、中間画像のための対応するマクロブロックデータ集合が決定されてもよい。] 図３Ｆ
[0029] ステップＡの開始時のデータは、量子化された変換係数または第１および第２の画像の各マクロブロックに対する変換係数のいずれかである。処理モジュールは、第１のマクロブロック位置と、第１および第２の画像のための対応する係数データとを選択するステップから開始する（３３０）。処理モジュールは、選択されたマクロブロック位置が画像に対する最後のマクロブロック位置であるかどうか決定する（３３１）。その場合、処理モジュールは、それが生成されるべき最後の中間画像であるかどうか決定する（３３２）。１つ以上の中間画像が生成されてもよいことを認識されたい。選択されたマクロブロック位置が最後のマクロブロック位置ではない場合、処理モジュールは、中間フレームのタイプを検索し、マクロブロックがＰ−フレームとして相互符号化されるべきかどうか決定する（３３３）。マクロブロックが相互符号化されるべき場合、相互符号化式が使用される（３３４）。各係数位置に対して適用される相互符号化式は、以下となる。]
[0030] フェードインおよびクロスフェードの場合]
[0031] フェードインおよびクロスフェードの場合
式中、ｐａおよびｐｂは、それぞれ、第１および第２の画像に対する１６×１６マクロブロック群内の単一位置における変換係数を表し、]
[0032] である。式中、ｎは、Ｎ個の総フレームを有する所望の中間シーケンスのｎ番目のフレームである。]
[0033] フレームが内部符号化される場合、内部符号化式が使用される（３３５）。各変換係数または量子化された変換係数値のために使用される内部符号化式は、以下となる。]
[0034] フェードインおよびクロスフェードの場合]
[0035] フェードアウトの場合
累積予測エラーが存在するため、ＧＯＰサイズを４として選択することが適切である。したがって、例えば、４ＧＯＰの場合、中間画像４つ毎に、１つのＩ−フレームおよび３つのＰ−フレームまたは４つのＩ−フレームが存在し得る。]
[0036] 次いで、各マクロブロックに対する係数値は、新しい中間画像のために、メモリ内に保存される（３３６）。次いで、プロセスが進み、１６×１６周波数係数値または量子化された周波数係数値の次のマクロブロックが選択される。中間画像に対する各係数値は、１６×１６グリッド内の同一位置に位置する係数値に基づいて決定される。処理モジュールは、続けて、画像の各位置に対する値を計算する。処理モジュールは、変換係数または量子化された変換係数値が、所望の数の中間画像のそれぞれに対して決定されると、終了するであろう。]
[0037] 次いで、第１の画像データ、中間画像データ、および第２の画像データが処理され、ＭＰＥＧデータストリームを生成してもよい。画像データがすべて量子化された変換係数である場合、各画像フレームに対するデータは、順番に配置され、次いで、データは、エントロピ符号化されるであろう。画像データが変換係数データである場合、第１の画像、中間画像、および第２の画像に対する変換係数は、同一ステップサイズおよび量子化行列を使用して量子化され、次いで、データは、エントロピ符号化され、続いて、ＭＰＥＧデータストリームを生成するであろう。次いで、ＭＰＥＧデータストリームは、ＭＰＥＧデコーダによって伝送および復号化されてもよく、そこで映画的効果が２つの画像間に提示される。]
[0038] 他の実施形態では、システムは、Ｐ−フォーマット化された映像フレームを使用して、遷移を生成してもよい。Ｐ−フレーム内のマクロブロックは、フレーム内符号化またはフレーム間符号化されてもよい。上述のように、フレーム内符号化マクロブロックは、マクロブロック内のデータのさらなる操作を伴わずに、上述の式を使用して処理されるであろう。対照的に、マクロブロックが相互符号化される場合、マクロブロックは、空間的に復号化され、次いで、上述の技術の採用に先立って、フレーム内符号化マクロブロックとして再符号化されるであろう。したがって、フレーム２内の動きベクトルが、フレーム１内のマクロブロックの内部符号化データをポイントする場合、システムは、最初に、フレーム１からの内部符号化マクロブロックを復号化し、フレーム２に対するマクロブロックの空間表示を形成する予測エラーを考慮するであろう。次いで、フレーム２からのマクロブロックに対する空間データは、ＤＣＴを使用して再符号化されるであろう。次いで、マクロブロックに対するデータは、フレーム内符号化され、遷移フレームデータを決定するための同一式が使用されてもよい。]
[0039] また、本発明は、他の遷移効果を生成してもよい。例えば、左から右へおよび右から左へのフェードは、上述の式に対して荷重要因を調節することによって生成可能である。２つのフレーム間の左から右へまたは右から左への遷移の場合、荷重要因は、画面毎に変化するであろう。したがって、第１のフレーム状態と第２のフレーム状態との間を遷移する全体画像ではなく、フレームの一部が、異なる速度で遷移するであろう。図４に示されるように、フレームの最左部分は、第１のフレームと第２のフレームとの間を迅速に遷移してもよい一方、画像遷移の右側は、遥かに低速で遷移する。図４は、フレーム１からフレーム２の遷移が時間Ｔ＝０から時間Ｔ＝５までの６つの時間間隔にわたって生じることを示す。フレーム２は、時間Ｔ＝５における全体画面を占める。] 図４
[0040] 依然として、さらなる遷移効果を生成可能である。荷重要因は、各フレームにわたって空間的に、かつフレーム間で時間的に変化可能である。したがって、荷重要因は、ｘ次元（空間的方向）、Ｙ次元（空間的方向）、およびＴ次元（時間）等の異なるパラメータに基づいて変化する式または式の集合と関連付けることが可能である。他の実施形態では、荷重要因は、単純に、所定の値の集合または行列であってもよく、各値は、フレームの１つ以上のマクロブロックに適用される。加えて、所定の値の複数の集合または行列が使用されてもよく、各集合または行列は、一連の遷移フレームの異なるフレームに適用される。したがって、フェードワイプ、ディゾルブ、フラッシュ、遷移の間のランダムラインの生成等の遷移が、符号化領域内で構築可能である。]
[0041] フローチャートは、本明細書では、本発明の種々の局面を検証するために使用され、任意の特定の論理フローまたは論理実装に本発明を限定するように解釈されるべきではないことに留意されたい。説明される論理は、全体的結果を変更することなく、または別様に本発明の真の範囲から逸脱することなく、異なる論理ブロック（例えば、プログラム、モジュール、関数、またはサブルーチン）に分割されてもよい。多くの場合、論理要素は、全体的結果を変更することなく、または別様に本発明の真の範囲から逸脱することなく、追加、修正、省略、異なる順番で行なわれる、または異なる論理構造（例えば、論理ゲート、ループプリミティブ、条件付き論理、および他の論理構造）を使用して実装されてもよい。]
[0042] 本発明は、多くの異なる形態で具現化されてもよく、プロセッサ（例えば、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、または汎用コンピュータ）と併用するためのコンピュータプログラム論理、プログラム可能論理機器（例えば、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）または他のＰＬＤ）と併用するためのプログラム可能論理、離散構成要素、集積回路（例えば、特定用途向け集積回路（ＡＳＩＣ））、あるいはそれらの任意の組み合わせを含む任意の他の手段を含むが、それらに限定されない。]
[0043] 本明細書に上述の機能の全部または一部を実装するコンピュータプログラム論理は、種々の形態で具現化されてもよく、ソースコード形態、コンピュータ実行可能形態、および種々の中間形態（例えば、アセンブラ、コンパイラ、リンカ、またはロケータによって生成される形態）を含むが、それらに限定されない。ソースコードは、種々のオペレーティングシステムまたはオペレーティング環境と併用するための種々のプログラミング言語（例えば、オブジェクトコード、アセンブリ言語、あるいはＦｏｒｔｒａｎ、Ｃ、Ｃ＋＋、ＪＡＶＡ（登録商標）、またはＨＴＭＬ等の高水準言語）のいずれかに実装される一連のコンピュータプログラム命令を含んでもよい。ソースコードは、種々のデータ構造および通信メッセージを規定および使用してもよい。ソースコードは、コンピュータ実行可能形態（例えば、解釈プログラムを介して）であってもよく、あるいはソースコードは、（例えば、翻訳ルーチン、アセンブラ、またはコンパイラを介して）コンピュータ実行可能形態に変換されてもよい。]
[0044] コンピュータプログラムは、半導体メモリ機器（例えば、ＲＡＭ、ＲＯＭ、ＰＲＯＭ、ＥＥＰＲＯＭ、またはフラッシュプログラム可能ＲＡＭ）、磁気メモリ機器（例えば、ディスケットまたは固定ディスク）、光学メモリ機器（例えば、ＣＤ−ＲＯＭ）、ＰＣカード（例えば、ＰＣＭＣＩＡカード）、あるいは他のメモリ機器等の有形記憶媒体内に永久もしくは一時的に、任意の形態（例えば、ソースコード形態、コンピュータ実行可能形態、または中間形態）で固定されてもよい。コンピュータプログラムは、種々の通信技術のいずれかを使用して、コンピュータに伝送可能な信号中に、任意の形態で固定されてもよく、アナログ技術、デジタル技術、光技術、無線技術、ネットワーク技術、およびインターネットワーキング技術を含むが、それらに限定されない。コンピュータプログラムは、付随の印刷または電子説明書付き可撤性記憶媒体（例えば、パッケージソフトウェアまたは磁気テープ）として任意の形態で配信される、コンピュータシステムによってプリインストールされる（例えば、システムＲＯＭまたは固定ディスク上）、あるいは通信システム（例えば、インターネットまたはワールドワイドウェブ）を介してサーバまたは電子掲示板から配信されてもよい。]
[0045] 本明細書に上述の機能の全部または一部を実装するハードウェア論理（プログラム可能論理機器と併用するためのプログラム可能論理を含む）は、従来の手動方法を使用して設計されてもよく、あるいはコンピュータ支援設計（ＣＡＤ）、ハードウェア記述言語（例えば、ＶＨＤＬまたはＡＨＤＬ）、あるいはＰＬＤプログラミング言語（例えば、ＰＡＬＡＳＭ、ＡＢＥＬ、またはＣＵＰＬ）等の種々のツールを使用して、設計、取得、シミュレーション、もしくは電子的に文書化されてもよい。]
[0046] 本発明は、本発明の真の範囲から逸脱することなく、他の特定の形態で具現化されてもよい。説明される実施形態は、あらゆる観点において、例示に過ぎず、限定としてみなされるべきではない。]
[0047] 上述の本発明の実施形態は、単なる例示であることが意図される。多数の変形例および修正例は、当業者には明白となるであろう。あらゆるそのような変形例および修正例は、任意の添付の請求項に規定されるように、本発明の範囲内であることが意図される。]

权利要求:

請求項1
第１の画像と第２の画像との間の少なくとも１つの中間遷移画像のデータ代表値を計算するための方法であって、該第１および第２の画像は、符号化データによって表され、該方法は、該第１および第２の画像内の各対応する位置に対して、該変換符号化データを変換復号化せずに、該第１および第２の画像の該変換符号化データを使用して、該少なくとも１つの中間画像のための変換符号化値を計算することと、該少なくとも１つの中間画像に対する該変換符号化値をメモリに保存することとを含む、方法。
請求項2
前記第１の画像は、第１の動画像列からのものであって、前記第２の画像は、第２の動画像列からのものである、請求項１に記載の少なくとも１つの中間遷移画像のデータ代表値を計算するための方法。
請求項3
前記第１の動画像は、フレーム内符号化される、請求項２に記載の方法。
請求項4
前記第２の動画像は、フレーム内符号化される、請求項３に記載の方法。
請求項5
前記第１の画像は、静止画像である、請求項１に記載の方法。
請求項6
前記第２の画像は、静止画像である、請求項５に記載の方法。
請求項7
第１の動画像列からの前記第１の動画像を構文解析することをさらに含む、請求項１に記載の方法。
請求項8
第２の動画像列からの前記第２の動画像を構文解析することをさらに含む、請求項１に記載の方法。
請求項9
前記第１の動画像は、内部符号化される、請求項７に記載の方法。
請求項10
前記第２の動画像は、内部符号化される、請求項８に記載の方法。
請求項11
前記中間画像がフレーム内またはフレーム間符号化されるかどうか決定することと、該中間画像がフレーム内符号化されるべき場合、該少なくとも１つの中間画像に対する前記変換符号化値を決定するためのフレーム内符号化式を選択することと、該中間画像がフレーム間符号化されるべき場合、該少なくとも１つの中間画像に対する該変換符号化値を決定するためのフレーム間符号化式を選択することとをさらに含む、請求項１に記載の方法。
請求項12
前記第１と第２の画像との間に生成される映画的効果の種類を決定することと、前記中間画像がフレーム内またはフレーム間符号化されるかどうか決定することと、該中間画像がフレーム内符号化されるべき場合、該映画的効果に基づいて、該少なくとも１つの中間画像に対する前記変換符号化値を決定するためのフレーム内符号化式を選択することと、該中間画像がフレーム間符号化されるべき場合、該映画的効果に基づいて、該少なくとも１つの中間画像に対する該変換符号化値を決定するためのフレーム間符号化式を選択することとをさらに含む、請求項１に記載の方法。
請求項13
前記第１および第２の画像は、ＭＰＥＧ符号化される、請求項１に記載の方法。
請求項14
前記第１および第２のＭＰＥＧ画像をエントロピ復号化することと、該第１および第２のＭＰＥＧ画像を逆量子化し、該第１および第２のＭＰＥＧ画像のための変換データを生成することとをさらに含む、請求項３に記載の方法。
請求項15
変換符号化値を決定することは、前記第１の画像の前記変換符号化データをパーセント値で、前記第２の画像の該変換符号化データを１−該パーセント値で乗算することと、該第１の画像および該第２の画像の該乗算変換データを加算し、前記中間画像の変換符号化データを形成することとを含む、請求項１に記載の方法。
請求項16
前記第１および前記第２の画像の変換データ代表値間の前記中間画像の前記変換符号化データ代表値を挿入することをさらに含む、請求項１に記載の方法。
請求項17
前記第１、第２、および中間画像の前記データ代表値を量子化することと、該第１、第２、および中間画像の該データ代表値をエントロピ符号化して、符号化データストリームを生成することとをさらに含む、請求項１６に記載の方法。
請求項18
前記符号化データストリームの復号化および表示は、前記第２の画像のフェードインを生成する、請求項１７に記載の方法。
請求項19
前記符号化データストリームの復号化および表示は、前記第１の画像のフェードアウトを生成する、請求項１７に記載の方法。
請求項20
前記符号化データストリームの復号化および表示は、前記第１と第２の画像との間のクロスフェードを生成する、請求項１７に記載の方法。
請求項21
前記符号化データストリームの復号化および表示は、前記第１と第２の画像との間のワイプを提供する、請求項１７に記載の方法。
請求項22
第１の画像と第２の画像との間の少なくとも１つの中間遷移画像のデータ代表値を計算するための方法であって、該第１および第２の画像は、符号化データによって表され、該方法は、該中間画像が内部符号化されるべきかどうか決定することと、該第１の画像および該第２の画像のための該符号化データが両方とも、同一のステップサイズおよび量子化行列を使用して量子化されているかどうか決定することと、該中間画像が内部符号化されるべきであって、該ステップサイズおよび量子化行列が該第１の画像および該第２の画像の両方に対して同一である場合、該第１および第２の画像内の各対応する位置に対して、該第１および第２の画像からの量子化された変換係数を使用して、該少なくとも１つの中間画像のための量子化された変換符号化値を計算することと、各量子化された変換符号化値をメモリに保存することとを含む、方法。
請求項23
第１のＭＰＥＧ画像と第２のＭＰＥＧ画像との間の少なくとも１つの中間遷移画像のデータ代表値を計算するために、自身にコンピュータコードを有するコンピュータ可読保存媒体を備える、コンピュータプログラム製品であって、該コンピュータコードは、該第１および第２のＭＰＥＧ画像からのデータを変換復号化せずに、該少なくとも１つの中間画像に対する変換符号化値を決定するためのコンピュータコードと、該変換符号化値をメモリに保存するためのコンピュータコードとを含む、コンピュータプログラム製品。
請求項24
前記第１の画像は、第１の動画像列からのものであって、前記第２の画像は、第２の動画像列からのものである、請求項２３に記載のコンピュータプログラム製品。
請求項25
前記第１の動画像は、フレーム内符号化される、請求項２３に記載のコンピュータプログラム製品。
請求項26
前記第２の動画像は、フレーム内符号化される、請求項２５に記載のコンピュータプログラム製品。
請求項27
前記第１の画像は、静止画像である、請求項２３に記載のコンピュータプログラム製品。
請求項28
前記第１および第２のＭＰＥＧ画像をエントロピ復号化するためのコンピュータコードと、該第１および第２のＭＰＥＧ画像を逆量子化して、該第１および第２のＭＰＥＧ画像のための変換データを生成するためのコンピュータコードとをさらに含む、請求項２３に記載のコンピュータプログラム製品。
請求項29
変換符号化値を決定するための前記コンピュータコードは、前記第１の画像の前記変換データをパーセント値で、前記第２の画像の該変換データを１−該パーセント値で乗算するためのコンピュータコードと、該第１の画像および該第２の画像の該乗算変換データを加算し、前記中間画像の変換符号化データを形成するためのコンピュータコードとを含む、請求項２３に記載のコンピュータプログラム製品。
請求項30
前記第１および前記第２の画像の変換データ代表値間の前記中間画像の前記変換符号化データ代表値を挿入するためのコンピュータコードをさらに含む、請求項２３に記載のコンピュータプログラム製品。
請求項31
前記第１、第２、および中間画像の前記データ代表値を量子化するためのコンピュータコードと、該第１、第２、および中間画像の該データ代表値をエントロピ符号化して、ＭＰＥＧデータストリームを生成するためのコンピュータコードとをさらに含む、請求項３０に記載のコンピュータプログラム製品。
請求項32
前記ＭＰＥＧデータストリームの復号化および表示は、前記第２の画像のフェードインを生成する、請求項３１に記載のコンピュータプログラム製品。
請求項33
前記ＭＰＥＧデータストリームの復号化および表示は、前記第１の画像のフェードアウトを生成する、請求項３１に記載のコンピュータプログラム製品。
請求項34
前記ＭＰＥＧデータストリームの復号化および表示は、前記第１と第２の画像との間のクロスフェードを生成する、請求項３１に記載のコンピュータプログラム製品。
請求項35
前記第１の画像は、単調画像である、請求項１に記載の方法。
請求項36
前記第２の画像は、単調画像である、請求項１に記載の方法。
請求項37
前記第１のＭＰＥＧ画像は、単調画像である、請求項２３に記載のコンピュータプログラム製品。
請求項38
前記第２のＭＰＥＧ画像は、単調画像である、請求項２３に記載のコンピュータプログラム製品。
請求項39
第１の画像と第２の画像との間の少なくとも１つの中間遷移画像のデータ代表値を計算するための方法であって、該第１および第２の画像は、符号化データによって表され、該方法は、該中間画像が内部符号化されるべきであるかどうか決定することと、該第１の画像および該第２の画像のための該符号化データが両方とも、同一のステップサイズおよび量子化行列を使用して量子化されているかどうか決定することと、該中間画像が内部符号化されるべきであって、該ステップサイズおよび量子化行列が、該第１の画像および該第２の画像の両方に対して同一である場合、該第１および第２の画像内の各対応する位置に対して、該第１および第２の画像からの量子化された変換係数を使用して、該少なくとも１つの中間画像のための量子化された変換符号化値を計算することと、各量子化された変換符号化値をメモリに保存することとを含む、方法。